最近のデータカタログの各種機能の有無を確認してみた（2024年4月時点）

モダンデータスタック(MDS)

#データカタログ

#Atlan

#Castor

#OpenMetadata

#DataHub

さがら

2024.04.12

さがらです。

ここ１～２年は新しい製品のリリースが落ち着いてきた印象ですが、Modern Data Stack界隈ではたくさんのデータカタログ製品が存在しています。

私も２年くらい前に色々触って調査したものの、この２年間での各製品のアップデートが凄まじく「どの製品がどの機能を持っているんだっけ…？」と知識が怪しくなってきてしまっている状況です。

そこで、今回改めて各製品の公式ドキュメントをベースに、最近のデータカタログの各種機能の有無を確認してみたので、本記事でまとめてみます。

※注意事項：各製品のアップデートのスピードは本当に早いため、半年も経てば現時点で出来ていなかったことが出来ているようになっている可能性が高いです。最新の情報はご自身で確認の上、本記事は参考程度にご利用ください。

比較対象のデータカタログ

比較対象としては、以下のデータカタログを比較します。

SaaS
OSS
- OpenMetadata
- DataHub

これらのデータカタログに対して、以下の機能について見ていきます。また、基本的には標準機能として備わっている機能をベースに確認します。（API使えば出来そう、というレベルまでは確認していません。）

データリネージ
メタデータ管理効率化
メタデータの履歴管理
各アセットの活用状況の可視化
インポート・エクスポート
カタログからDWHへのメタデータ連携
カタログからdbtへのメタデータ連携
dbt開発時の影響するアセットの確認
スキーマ変更の検知
チャットアプリ連携(Slack、Teams)
テスト関係
AI関係

データリネージ

最近のデータカタログは、ソーステーブルから末端のBIツールのダッシュボードまでのリネージを提供していることが多いです。一部のデータカタログは列レベルリネージも提供しています。

Atlan：データリネージあり、列レベルリネージあり
- https://ask.atlan.com/hc/en-us/articles/7274219929873-What-is-lineage#what-is-lineage--0-0
- https://ask.atlan.com/hc/en-us/articles/7626842957967-How-to-view-lineage
Secoda：データリネージあり、列レベルリネージあり
- https://docs.secoda.co/features/data-lineage
CastorDoc：データリネージあり、列レベルリネージはあるが指定したカラムに限定したリネージとなる
- https://docs.castordoc.com/navigate/lineage
Select Star：データリネージあり、列レベルリネージあり
- https://docs.selectstar.com/features/lineage
OpenMetadata：データリネージあり、列レベルリネージあり
- https://docs.open-metadata.org/v1.3.x/connectors/ingestion/lineage
DataHub：データリネージあり、列レベルリネージあり
- https://datahubproject.io/docs/next/api/tutorials/lineage/

メタデータ管理効率化

どのデータカタログもGUI上でビジネスメタデータをタグやDescriptionとして登録する機能はもちろんありますが、類似するカラムのDescriptionを一括登録したり、事前定義した条件に合致する場合は自動でタグ付けを行ったり、という機能を持っているデータカタログもあります。

Atlan：「playbooks」という機能でルールベースの自動化が可能。類似アセットからの提案機能や、タグの伝播機能もあり
Secoda：「Automations」という機能でルールベースの自動化が可能。画面上で複数のリソースを一括更新することも可能
- https://docs.secoda.co/features/automations
- https://docs.secoda.co/resource-and-metadata-management/add-documentation/bulk-editing-resources
CastorDoc：「Metadata Editor」という機能で一括でのタグ付けやDescriptionの記入が可能
- https://docs.castordoc.com/document-your-data/metadata-editor
Select Star：ルールベースのPIIタグ付けや、他のアセットと比較したタグの提案が可能
- https://docs.selectstar.com/data-management/automated-pii-detection-beta
- https://docs.selectstar.com/features/auto-documentation#suggested-tags
OpenMetadata：PIIデータについては自動タグ付け機能あり
- https://docs.open-metadata.org/v1.3.x/how-to-guides/data-governance/classification/auto
DataHub：なし

メタデータの履歴管理

データカタログを運用するうえで、誤ったメタデータに更新してしまったときなど、過去のメタデータを見たい場合があります。各データカタログは様々なアプローチでメタデータの履歴管理を行えるようになっています。

Atlan：activity logという機能で変更履歴を確認可能
- https://ask.atlan.com/hc/en-us/articles/8605837144093-What-is-an-activity-log
Secoda：Gitと連携した履歴管理が可能
- https://docs.secoda.co/integrations/productivity-tools/git-integration
CastorDoc：各アセットごとに「History」タブあり
- https://docs.castordoc.com/collaborate/history
Select Star：なし
OpenMetadata：ChangeEventという形で確認可能
- https://docs.open-metadata.org/v1.3.x/main-concepts/metadata-standard/schemas/type/changeevent
DataHub：Business GlossaryについてはGit連携機能あり。Data ProductsをGitで管理する機能もあり
- https://datahubproject.io/docs/glossary/business-glossary/
- https://datahubproject.io/docs/dataproducts/#creating-a-data-product-yaml--git

各アセットの活用状況の可視化

各テーブル・カラムがどれだけ使われているのかを可視化できる機能がデータカタログには備わっています。

Atlan：クエリ履歴を元に、対象アセットの人気度合いを確認可能
- https://ask.atlan.com/hc/en-us/articles/8410289921053-How-to-interpret-usage-metrics
Secoda：クエリ履歴とSecoda内での閲覧数に基づく、人気度合いを確認可能
- https://docs.secoda.co/features/popularity
CastorDoc：クエリ履歴を元に、対象アセットの人気度合いを確認可能
- https://docs.castordoc.com/navigate/search/popularity
Select Star：クエリ履歴を元に、人気のクエリ、人気のJOIN先テーブル、を確認可能
- https://docs.selectstar.com/features/queries-and-joins#popular-queries
OpenMetadata：各アセットから発行されているクエリ一覧を確認することが可能。人気度合いに沿ったソートも可能（筆者がサンドボックス環境で確認）
- https://docs.open-metadata.org/v1.3.x/how-to-guides/data-discovery/details#queries-tab
DataHub：過去１ヶ月のクエリ発行数や、上位５つの発行されたクエリや利用ユーザーの確認が可能
- https://datahubproject.io/docs/features/dataset-usage-and-query-history/

インポート・エクスポート

データカタログに対してCSVなどのファイル形式でインポートしたり、逆にデータカタログ上で定義された情報をCSVなどのファイル形式でエクスポートする機能を提供しています。

Atlan：スプレッドシート・Excelとの連携機能あり
- https://ask.atlan.com/hc/en-us/sections/7565314875293-Spreadsheets
Secoda：CSVでのインポート・エクスポートに対応
- https://docs.secoda.co/resource-and-metadata-management/import-and-export-data
CastorDoc：CSVでのインポート・エクスポートに対応
- https://docs.castordoc.com/document-your-data/upload-existing-documentation/upload-existing-documentation
- https://docs.castordoc.com/assets/reports
Select Star：CSVでのインポートに対応。エクスポートできるのはSelect Star上でのユーザー行動履歴
- https://docs.selectstar.com/data-management/add-documentation/csv-metadata-upload
- https://docs.selectstar.com/features/user-analytics#export-to-csv
OpenMetadata：Glossaryに関してはCSVでのインポート・エクスポート機能あり
- https://docs.open-metadata.org/v1.3.x/how-to-guides/data-governance/glossary/import
- https://docs.open-metadata.org/v1.3.x/how-to-guides/data-governance/glossary/export
DataHub：CSVでのインポートに対応
- https://datahubproject.io/docs/generated/ingestion/sources/csv/

カタログからDWHへのメタデータ連携

各DWHと連携してテーブルデータやクエリ履歴を取得する機能はほぼすべてのデータカタログが提供していますが、一部のデータカタログは、タグやdescriptionをカタログからDWHへ連携する機能を持っています。

Atlan：タグについては、AtlanからSnowflakeへの連携機能あり
- https://ask.atlan.com/hc/en-us/articles/7128691833871-How-to-manage-Snowflake-tags
- https://ask.atlan.com/hc/en-us/articles/7199743973647-How-to-attach-a-Snowflake-tag
Secoda：Descriptionについて、SecodaからSnowflake・BigQuery・Redshiftへの連携機能あり
CastorDoc：Descriptionについて、CastorDocからSnowflakeへの連携機能あり
- https://docs.castordoc.com/integrations/sync-back/sync-back-to-snowflake
Select Star：タグについては、Select StarからSnowflakeへの連携機能あり
- https://docs.selectstar.com/integrations/snowflake/snowflake-tag-sync
OpenMetadata：なし
DataHub：なし

カタログからdbtへのメタデータ連携

dbtではyaml上でテーブルやカラムに対するdescriptionを定義できますが、その情報をデータカタログに同期できる機能を最近のデータカタログはほぼ全て提供しています。一方で一部のデータカタログは、データカタログ上で定義したdescriptionを、dbtのyamlに書き戻す機能も備わっています。この書き戻し機能を各カタログが持っているかどうかについて、本章で記します。

Atlan：なし
Secoda：なし
CastorDoc：descriptionについて、CastorDocからdbtへの書き戻し機能あり
- https://docs.castordoc.com/integrations/dbt/sync-back-to-dbt
Select Star：descriptionについて、Select Starからdbtへの書き戻し機能あり
- https://docs.selectstar.com/integrations/dbt/dbt-docs-sync
OpenMetadata：なし
DataHub：なし

dbt開発時の影響するアセットの確認

一部のデータカタログは、dbt開発時に影響するアセットを確認できる機能を提供しています。（主にGitHub Actionsを用いて）

Atlan：GitHub Actionsあり
- https://ask.atlan.com/hc/en-us/articles/9113074629533-How-to-add-impact-analysis-in-GitHub
Secoda：GitHub Actionsあり
- https://docs.secoda.co/integrations/productivity-tools/github#connect-github-to-secoda
CastorDoc：GitHub Actionsなし。データリネージを用いてカタログ上で確認する
- https://docs.castordoc.com/navigate/lineage
Select Star：GitHub Actionsあり
- https://docs.selectstar.com/integrations/dbt/dbt-impact-report
OpenMetadata：GitHub Actionsなし。列レベルリネージを用いてカタログ上で確認する
- https://docs.open-metadata.org/v1.3.x/how-to-guides/data-lineage/column
DataHub：GitHub Actionsなし。あるアセットからの影響分析を行える機能はあり
- https://datahubproject.io/docs/act-on-metadata/impact-analysis

スキーマ変更の検知

データ基盤を運用するうえで、突然ソースデータにおいてカラム追加やデータ型の変更が起きる場合があります。その際に一部のデータカタログはこれらの変更を検知できる機能が備わっています。

Atlan：スキーマの変更履歴を確認できる機能あり　※通知はなし
- https://ask.atlan.com/hc/en-us/articles/8605837144093-What-is-an-activity-log
Secoda：スキーマ変更を検知し通知できる機能あり
- https://docs.secoda.co/features/notifications#schema-change-notifications
CastorDoc：なし
Select Star：スキーマ変更を検知し通知できる機能あり
- https://docs.selectstar.com/features/schema-change-detection
OpenMetadata：スキーマ変更を検知し通知できる機能あり
- https://docs.open-metadata.org/v1.3.x/how-to-guides/admin-guide/alerts
DataHub：スキーマの変更履歴を確認できる機能あり　※通知はなし
- https://datahubproject.io/docs/schema-history

チャットアプリ連携(Slack、Teams)

SlackやTeamなどのチャットアプリと連携することで、チャットアプリからデータカタログ上のアセットの検索を行ったり、チャットアプリ上のスレッドをデータカタログに紐づけたり、ということが可能です。

Atlan：SlackとTeamsと連携可能。Slackでは、SlackスレッドをAtlanの関連するアセットに紐づける、SlackからAtlan上のアセットの検索、Glossaryなどの更新の通知、などが可能。Teamsでは、TeamsスレッドをAtlanの関連するアセットに紐づける、Glossaryなどの更新の通知、などが可能。
- https://ask.atlan.com/hc/en-us/articles/6751946909585-What-is-included-in-the-Slack-integration
- https://ask.atlan.com/hc/en-us/articles/8750087764893-What-is-included-in-the-Microsoft-Teams-integration#h_01HBBG2RPND4TMN6VAD977YEMT
Secoda：SlackとTeamsと連携可能。Slackでは、ワークスペースの変更に関する通知、AI Assistantとの対話、SlackのスレッドをSecodaの関連するアセットに紐づける、SlackからSecodaに検索する、などが可能。Teamsでは、ワークスペースの変更に関する通知のみが可能
- https://docs.secoda.co/integrations/productivity-tools/slack-connection/slack-user-guide
- https://docs.secoda.co/integrations/productivity-tools/microsoft-teams
CastorDoc：Slackと連携可能。Slack上でCastorDocのリンクを貼ったときにプレビューを表示、SlackのスレッドをCastorの関連するアセットに紐づける、対象ユーザーが所有者のアセットに対するコメントの通知、などが可能
- https://docs.castordoc.com/collaborate/interaction-between-teams#slack
- https://docs.castordoc.com/collaborate/notifications
Select Star：Slackと連携可能。Select Starに対する検索、AIチャットボットを追加した自動回答機能、スキーマ変更の通知、対象ユーザーが所有者のアセットに対するコメントの通知、などが可能
- https://docs.selectstar.com/integrations/slack
OpenMetadata：SlackとTeamsと連携可能。OpenMetadataから送信されるアラートの通知が可能と記載あり　（設定手順に関するドキュメントはわからず…）
- https://docs.open-metadata.org/v1.3.x/how-to-guides/data-collaboration/announcements
DataHub：Slackと連携可能。特定のイベント発生時にSlackのチャンネルに通知が可能
- https://datahubproject.io/docs/actions/actions/slack/